AI and Memory Wall
https://arxiv.org/abs/2403.14123AI and Memory Wall
from 💬雑談
AI and Memory Wall
Bilzard(@bilzrd)
AI and Memory Wall (Mar 2024)
学習コストのスケール則はHWのスケール則より遥かに早い
モデル
- モデルパラメータ: x410/2y
- 学習コスト: x750/2y
HW
- computing: x2/2y
- メモリ容量と転送速度: x1.6/2y, x1.4/2y
→HWのメモリがますますボトルネックになりつつある
https://gyazo.com/ab5468a284572af547ce4d484923670d https://gyazo.com/656cfa0004d4ce075abd89b3327fb8a3
やっぱりこの側面から見てもメモリ効率を上げつつ学習する手法はそう遠からず必要になる未来が待ち構えてそうね…morisoba65536.icon
DeepSeek V3/DeepSeek-R1がなくても数年以内にメモリ効率が頭打ちになるので8bitでの学習などに(及び次のステップとしては4bit量子化での学習など…)(先端技術サイドは)向き合わないといけない…morisoba65536.icon